Het kasteel van Cailloux werd gebouwd tussen 1881 en 1883 door de beroemde architect Charles-Emile Janlet in opdracht van Hector Defoër.
Door zijn broer te vergezellen ontdekt Hector Defoër, in 1851, Egypte. In 1863 stelt hij zich ten dienste van de regering na een verzoek van Ismail Pacha, vice-koning van Egypte. Van 1865 tot 1873, is hij de financiële agent van de vice-koning van Egypte in Parijs. Gelijktijdig aan zijn particuliere titel, neemt hij deel aan de oprichting van verschillende vennootschappen, in het bijzonder de Franco-Egyptische Bank en het Crédit Lyonnais, waar hij overvloedige winsten haalt en fortuin maakte in onroerend goed. In de jaren 1870 zijn de Egyptische financiën er slecht aan toe, en het land wordt onder internationale controle geplaatst.
Met het oog op een terugkeer naar Jodoigne, koopt Hector Defoër een uitgebreid gebied in zijn geboorteplaats. In 1881 verrijst op deze plaats het kasteel van Cailloux. Zijn vermogen, een van de grootste van het land, wordt dan op 20 miljoen frank geschat. Zonder politiek mandaat speelt Hector Defoër toch nog een belangrijke rol in het dagelijkse leven van Jodoigne. Hij ondersteunt de gemeentescholen, bouwt een ziekenhuis waaraan hij de naam van zijn moeder, Beatrix, geeft. In 1905 overlijdt Hector Defoër op een leeftijd van 72 jaar.
Sinds 1938 is het kasteel van Cailloux eigendom van de Belgische staat. Op 10 december 1952 werd het kasteel beroofd van zijn meesterlijke en zeer originele dak als gevolg van brand. Thans is het kasteel van Cailloux eigendom van de Franse Gemeenschap en biedt nu onderdak aan het internaat van het Koninklijke Atheneum van Jodoigne.